Test-Time Augmentation for LLMs: When Input Diversity Beats Output Diversity at Matched Compute
LLM 测试时增强：等量计算下输入多样性胜过输出多样性
🧭 测试时增强 · 输入多样性 vs 输出多样性 ★ 深度解读
Amazon Web Services
在固定推理预算下，语义改写聚合比自一致性更高效地将计算转化为准确率，性价比高约 1.8 倍
📌 工作参考价值（4 点）
- 改写聚合替代重采样：在电商搜索问答、推荐理由生成等需准确答案的场景，用同一 LLM 生成 k 个语义等价改写，分别回答后多数投票，比单纯多次采样自一致性成本-收益更优。
- 实施要点：改写与回答调用分离，改写提示必须保留原问题的选项、格式、图像引用；可用更强模型做改写（例如用 Sonnet 为 Haiku 生成改写）；推荐 $k=4$ 在成本与效果间平衡；仅在模型置信度中等（基线准确率 40-80%）时使用，高准确率大模型无益。
- 避免混合模态增强：若输入含图像，只增强文本，同时增强图像与文本会引入噪声导致性能下降；词汇增强（拼写错误）可能损害强模型，优先用语义增强。
- 低成本备选：若改写调用额外开销不可接受，词汇增强（字符扰动）几乎零成本，仍可获得小幅度提升，适合对延迟敏感的线上链路。